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理解 Linux 进 程 


关于 这 本 书 

本 书 受 理解 Unix 进 程 启 发 而 作 ， 用 极 简 的 篇 幅 深入 学 习 进 程 知识 。 

理解 Linux 进 程 用 Go 重 写 了 所 有 示例 程序 ， 通 过 循序 渐进 的 方法 介绍 Linux 进 程 的 工作 原理 和 一 切 你 所 需要 知道 的 概念 。 
本 书 适 合 所 有 Linux 程 序 员 阅读 。 在 线 阅读 ，PDF 下 载 。 


三 位 好 朋友 


阅读 前 介绍 三 位 即将 与 大 家 打交道 的 小 伙伴 : Linux、Go 和 Docker。 





Linux 是 我 们 主要 的 研究 对 象 ， 书 中 所 有 概念 与 程序 都 基于 Linux， 这 同样 适用 于 所 有 Unix-like 系 统 。 





Go 是 本 书 所 有 示例 程序 的 实现 语言 ， 当 然 进 程 的 概念 与 原理 是 相通 的 ， 你 也 可 以 使 用 其 他 编程 语言 实现 。 





Docker 为 我 们 创造 可 重复 的 实验 环境 ， 使 用 Docker 容 器 你 可 以 轻易 地 模拟 与 本 书 一 模 一 样 的 运行 环境 。 


Thanks Wawa Leung 
Otherwise the book would be released two years ago 


本 书 概述 


进程 的 概念 大 家 都 很 熟悉 — 能 准确 说 出 僵尸 进程 的 含义 呢 ? 还 有 COW(Copy On Write), Flock(File Lock), Epoll#l 
Namespace 的 概念 又 是 否 了 解 过 呢 


本 书 汇集 了 进程 方方面面 的 基础 知识 ， 加 上 编程 实例 ， 保 证 阅读 后 能 自如 地 回答 以 上 问题 ， 在 项 目 开 发 中 对 进程 的 优化 也 有 
更 深 的 理解 。 


本 书架 构 
本 书 按 循序 渐进 的 方式 介绍 进程 的 基础 概念 和 拓展 知识 ， 主 要 洱 盖 以 下 几 个 方面 。 


进程 的 基础 知识 介绍 
o 进程 相关 的 编程 实例 
o 进程 的 进 阶 知识 详解 
e 项 目 Run 的 进程 管理 
e。 使 用 进程 的 注意 事项 


其 中 项 目 Run 是 Go 实现 的 脚本 管理 工具 ， 通 过 研究 Run 的 源码 能 够 加 深 对 进程 管理 的 理解 。 
关于 勘误 
TR 


本 书 所 有 内 容 都 托管 到 GitHub， 如 果 纶 漏 或 错误 请 提 lssue。 


> QO This repository Search Explore Gist Blog Help tobegitähub 二 ~ © 


tobegit3hub / understand_linux_process @unwatchy 1 peUnstar 1 YFork 0 


GitBook Understand Linux Process — Edit 


<> Code 
4 commits 1 branch 0 releases 1 contributor 


© Issues o 


ẸŅ branch: master~ understand_linux_process /+ 
i Pull Requests o 
Add foreword summary 


m 
tobegit3hub authored an hour ago latest commit e766d10eee È Wiki 
Ea foreword Add foreword summary an hour ago 
+- Pulse 
Ba process_basic Add trival files for test a day ago 
sh Graphs 
À .gitignore Initial commit a day ago [alt Grap 
B LICENSE Initial commit a day ago 
Pie % Settings 
 README.md Add readme.md 2 hours ago 
E SUMMARY.md Add trival files for test a day ago SSH cione URL 
E book.json Add trival files for test a day ago — m:tobe | Et 
You can clone with HTTPS, SSH, 
B cover.jpg Add trival files for test a day ago or Subversion. © 
E cover_small.jpg Add trival files for test a day ago Æ Cione in Desktop 
README.md < Download ZIP 


理解 Linux 进 程 
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示例 程序 





本 书 所 有 示例 程序 都 基于 Go 编写 ， 代 码 托管 到 GitHub。 





























每 章 的 示例 都 是 可 直接 运行 的 Go 源 文件 ， 例 如 第 一 章 的 Hellow World 程 序 可 以 通过 go run hello world.go 来 运行 并 查看 运行 
结果 。 


# go run hello_world.go 
Hello World 


接 下 来 介绍 使 用 Docker 来 运行 本 书 的 示例 程序 。 


Docker JT 


> docker 


Docker 是 一 个 容器 运行 平台 ， 你 可 以 将 程序 及 其 依赖 打包 成 容器 ， 在 不 同 机 器 上 和 运行 可 得 到 一 致 的 运行 效果 。 因 为 不 同 的 系 
统 环境 或 Go 版 本 可 能 影响 程序 的 运行 结果 ， 为 了 得 到 可 预测 、 可 重复 的 实验 环境 ， 我 们 引入 了 Docker 容 器 技术 。 





Docker 使 用 


我 们 不 仅 开 源 了 示例 代码 ， 还 创建 了 官方 Docker 镜 像 。 


只 要 执行 命令 docker run -i -t tobegit3hub/understand_linux_process_examp ， 就 可 以 马上 创建 本 书 的 实验 环境 。 进 入 容器 后 
可 以 轻易 地 运行 示例 程序 。 


root@6a8e36a53495:/go/src# go run hello_world.go 
Hello World 


当然 你 也 可 以 在 本 地 运行 自己 的 Go 示例 ， 或 者 使 用 官方 Go 镜像 docker run -i -t golang:1.4 /bin/bash 。 


Para me ., oO 
第 一 章 进程 基础 
作为 本 书 的 第 一 部 分 ， 主 要 介绍 进程 的 PID、 进 程 状态 、 退 出 码 和 POSIX 等 基础 概念 。 


网 络 有 很 多 需 散 的 资料 介绍 基础 了 ， 为 什么 还 要 花 篇 幅 介 绍 这 些 呢 ? 首先 我 们 要 保证 看 过 这 些 章节 的 都 能 掌握 这 些 概念 ， 其 
次 通过 编写 代码 实例 ， 我 们 还 能 动手 验证 这 些 概 念 ， 已 经 不 能 更 将 了 。 


学 习 完 这 章 我 们 应 该 能 够 准确 回答 出 PID、PPID、 进 程 名 字 、 进 程 参 数 、 进 程 状 态 、 退 出 码 、 死 锁 、 活 锁 、POSIX、Nohup 
等 概念 。 


ce 1. tmux (tmux) 
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进程 的 定义 


根据 维基 百科 的 定义 ， 进 程 (Process) 是 计算 机 中 已 运行 程序 的 实体 。 用 户 下 达 运 行程 序 的 命令 后 ， 就 会 产生 进程 。 进 程 需要 
一 些 资 源 才 能 完成 工作 ， 如 CPU 使 用 时 间 、 存 储 器 、 文 件 以 及 MO 设备 ， 且 为 依 序 逐 一 进行 ， 也 就 是 每 个 CPU 核心 任何 时 间 内 
仅 能 运行 一 项 进程 。 


我 们 简单 总 结 下 ， —— 代码 运行 的 实体 。 这 里 补充 一 点 ， 进 程 不 一 定 都 是 正在 运行 的 ， 也 可 能 在 等 待 调度 或 者 停止 ， 进 
程 状态 将 在 后 续 详细 介绍 。 


举 个 例子 


进程 的 概念 应 该 很 好 理解 ， 因 为 我 们 都 在 写 代 码 ， 这 些 代码 跑 起 来 了 就 是 一 个 进程 ， 为 了 完整 性 我 们 介绍 最 简单 的 的 Hello 
World 进 程 。 


Hello World ## #2 


Hello World 程 序 是 每 门 编程 语言 的 和 人 门 示例 ， 注 意 这 个 程序 还 不 是 进程 哦 ， 它 的 作用 是 在 终端 输出 “Hello World" 然 后 直接 退 
出 。 


当 我 们 运行 Hello World 程 序 时 ， 系 统 就 创建 一 个 Hello World 进 程 。 这 也 是 最 简单 的 进程 了 ， 没 有 系统 调用 、 进 程 间 通信 等 ， 
输出 字符 串 后 就 退出 了 。 


Bash 实 现 
用 Bash 实 现 Hello World 程 序 只 需要 一 行 代码 ， 运 行 后 新 的 进程 也 可 以 输出 "Hello World"”， 然 后 就 没有 然后 了 


root@87096bf68cb2:/go/src# echo Hello World 
Hello World 


稍微 提 一 下 echo 是 Linux 自 带 的 程序 ， 可 以 接受 一 个 或 多 个 参数 ， 反 正 就 是 如 实地 把 它们 输出 到 终端 而 已 。 


样 最 简单 的 Linux 进 程 就 诞生 了 ， 当 然 我 们 也 可 以 用 Go 重 写 Hello World 程 序 。 
Go 实现 
Go 实现 的 程序 源码 可 参见 hello_world.go。 


package main 

import ( 
"emt" 

) 


func main() { 
fmt .Println("Hello World") 
H 


运行 后 得 到 以 下 的 输出 。 


root@87096bf68cb2:/go/src# go run hello_world.go 
Hello World 


Hello World 进 程 运 行 时 究竟 发 生 了 什么 ， 接 下 来 我 们 将 从 各 个 方面 介绍 进程 的 概念 。 


PID 


首先 我 们 来 学 习 PID 这 个 概念 ，PID 全 称 Process ID， 是 标识 和 区 分 进程 的 ID， 它 是 一 个 全 局 唯一 的 正 整 数 。 


原来 Hello World 进 程 运行 时 也 有 一 个 PID， 只 是 它 运 行 结束 后 PID 也 释放 了 ， 我 们 可 以 通过 print_pid.go 程 序 显示 当前 进程 的 
PID。 


示例 程序 


程序 print_pid.go 的 源码 如 下 ， 通 过 Getpid() 函数 可 以 获得 当前 进程 的 PID。 


package main 


import ( 
"emt" 
"os" 


) 
func main() { 


fmt.Println(os.Getpid()) 
a; 


运行 结果 


root@87096bf68cb2:/go/src# go run print_pid.go 
2922 
root@87096bf68cb2:/go/src# go run print_pid.go 
2932 


可 以 看 出 ， 进 程 运 行 时 PID 是 由 操作 系统 随机 分 配 的 ， 同 一 个 程序 运行 两 次 会 产生 两 个 进程 ， 当 然 也 就 有 两 个 不 同 的 PID。 


那 PID 究 竟 有 什么 用 呢 ? 我 们 稍 后 会 讨论 ， 现 在 先 了 解 下 PPID。 


PPID 


每 个 进程 除了 一 定 有 PID 还 会 有 PPID， 也 就 是 父 进 程 ID， 通 过 PPID 可 以 找到 父 进 程 的 信息 。 


为 什么 进程 都 会 有 父 进程 ID 呢 ? 因为 进程 都 是 由 父 进程 衍生 出 来 的 ， 后 面 会 详细 介绍 几 种 衍生 的 方法 。 那 么 跟 人 类 起 源 问题 
一 样 ， 父 进程 的 父 进 程 的 父 进程 又 是 什么 呢 ? 实际 上 有 一 个 PID 为 1 的 进程 是 由 内 核 创 建 的 init 进 程 ， 其 他 子 进程 都 是 由 它 衍生 
出 来 ， 所 以 前 面 的 描述 并 不 准确 ， 进 程 号 为 1 的 进程 并 没有 PPID。 


因为 所 有 进程 都 来 自 于 一 个 进程 ， 所 以 Linux 的 进程 模型 也 叫做 进程 树 。 


示例 程序 


要 想 获得 进程 的 PPID， 可 以 通过 以 下 cetppid() 这 个 画 数 来 获得 ，print_ppid.go 程 序 的 代码 如 下 。 


package main 


import ( 
"emt" 
"os" 


) 


func main() { 
fmt.Println(os.Getppid()) 
此 


运行 结 来 


root@87096bf68cb2:/go/src# go run print_ppid.go 
2892 
root@87096bf68cb2:/go/src# go run print_ppid.go 
2902 


有 趣 的 事情 发 生 了 ， 有 没有 发 现 每 次 运行 的 父 进程 ID 都 不 一 样 ， 这 不 符合 我 们 的 预期 啊 ， 原 来 我 们 通过 go run 每 次 都 会 启动 
一 个 新 的 Go 虚拟 机 来 执行 进程 。 


>. — AT 
编译 后 运行 
如 果 我 们 先生 成 二 进 制 文件 再 执行 结果 会 怎样 呢 ? 


root@87096bf68cb2:/go/src# ./print_ppid 


2 

root@87096bf68cb2:/go/src# ./print_ppid 

al 

root@87096bf68cb2:/go/src# ps aux [grep "1" [grep -v "ps" |grep -v "grep" 
root 13 0.0 0:3 20228 3184 2 Ss 07:25 0:00 /bin/bash 


这 次 我 们 发 现 父 进程 ID 都 是 一 样 的 了 ， 而 且 通 过 ps 命令 可 以 看 到 父 进程 就 是 bash ， 说 明 通 过 终端 执行 命令 其 实 是 
从 bash 这 个 进程 衍生 出 各 种 子 进程 。 


为 了 执行 这 个 程序 要 查找 包 依 赖 、 编 译 、 打 包 、 链 接 ( 和 go build 做 一 样 的 未 西 ) 然 后 执行 ， 这 是 全 新 的 进程 。 


拿 到 PID 和 PPID 后 有 什么 用 呢 ? 马上 揭晓 。 


查看 PID 

首先 我 们 想 知道 进程 的 PID， 可 以 通过 top 或 者 ps 命令 来 查看 。 

Top 

在 命令 行 执行 top 后 ， 得 到 类 似 下 面 的 输出 ， 可 以 看 到 目前 有 三 个 进程 ，PID 分 别 是 1、8 和 9。 


top - 12:45:18 up 1 min, © users, load average: 0.86, 0.51, 0.20 
Tasks: 3 total, 1 running, 2 sleeping, © stopped, © zombie 
%Cpu(s): 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, ©.0 hi, 0.0 si, 0.0 st 


KiB Mem: 2056748 total, 301984 used, 1754764 free, 20984 buffers 
KiB Swap: 1427664 total, © used, 1427664 free. 231376 cached Mem 
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 

1 root 20 0 4312 692 612 S OFOM0O 0 0:00.23 sh 

8 root 20 0 20232 3048 2756 S OS OO L 0:00.03 bash 

9 root 20 0 21904 2384 2060 R OP OO 0:00.00 top 


PS 


执行 ps aux 后 输出 如 下 ， 其 中 aux 参数 让 ps 命令 显示 更 详细 的 参数 信息 。 前 面 PID 为 9 的 top 进 程 已 经 退出 了 ， 取 而 代 之 的 
是 PID 为 11 的 ps 进程 。 


root@fa13d0439d7a:/go/src# ps aux 


USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND 

root n OEE: 2m 070 4312 692 ? Ss 12:45 0:00 /bin/sh -c /bin/bash 
root Sy 010 J071: 202327 13224-7 S 12:45 0:00 /bin/bash 

root 11 D0 QO LAdd -20002 R+ 12:46 0:00 ps aux 


使 用 PID 
拿 到 PID 后 ， 我 们 就 可 以 通过 kill 命令 来 结束 进程 了 ， 也 可 以 通过 kill -9 或 其 他 数字 向 进程 发 送 不 同 的 信号 。 


信号 是 个 很 重要 的 概念 ， 我 们 后 面 会 详细 介绍 ， 那 么 有 了 进程 ID， 我 们 也 可 以 看 看 进程 名 字 。 


每 个 进程 都 一 定 有 进程 名 字 ， 例 如 我 们 运行 top ， 进 程 名 就 是 "top”， 如 果 是 自 定义 的 程序 呢 ? 


其 实 进程 名 一 般 都 是 进程 参数 的 第 一 个 字符 串 ， 在 Go 中 可 以 这 样 获得 进程 名 。 


package main 


import ( 
"emt" 
Nog! 


) 


func main() { 
processName := os.Args[0] 


fmt .Println(processName) 


进程 的 输出 结果 如 下 。 


root@87096bf68cb2:/go/src# go run process_name.go 
/tmp/go-build650749614/command-line-arguments/_obj/exe/process_name 
root@87096bf68cb2:/go/src# go build process_name.go 
root@87096bf68cb2:/go/src# ./process_name 

./process_name 


是 否 稍稍 有 些 意外 ， 因 为 go run 会 启动 进程 重新 编译 、 链 接 和 和 运行 程序 ， 因 此 每 次 运行 的 进程 名 都 不 相同 ， 而 编译 出 来 的 程 


= 


PRAMAS, MACARA FRE. 


知道 这 些 以 后 ， 我 们 可 以 开始 接触 接 进 程 的 运行 参数 。 


进程 参数 


任何 进程 启动 时 都 可 以 赋予 一 


过 解析 这 些 参 
多 最 好 还 是 使 用 配置 文件 。 


大 得 讲 


导 进程 Argument 


进程 参数 一 般 可 分 为 两 类 ， 
参数 。 


设计 Go 程序 时 可 以 轻易 地 获得 
arguments。 


package main 


import "os" 
import "fmt" 


func main() { 
argsWithProg := os.Args 
argsWithoutProg := os.Args[1:] 


arg := os.Args[3] 

fmt .Println(argswithProg) 
fmt .Println(argswithoutProg) 
fmt .Println(arg) 


Sn 


$ go build command-line-arguments.go 
$ ./command-line-arguments a b c d 
[./command-line-arguments a b c d] 


[a biecadi 

c 
可 以 看 出 通过 os.Args ， 不 管 是 不 是 实体 参数 都 可 以 获得 ， 
a+ 46 Ht oO 
闫 得 进程 Flag 


使 用 Flag 可 以 更 容易 得 将 命 全 
https:/gobyexample.com/command-line-flags。 


package main 


import "flag" 
import "fmt" 


func main() { 


wordPtr := flag.String("word", "foo", "a string") 
numbPtr := flag.Int("numb", 42, "an int") 

boolPtr := flag.Bool("fork", false, "a bool") 

var svar string 

flag.StringVar(&svar, "svar", "bar", "a string var") 
flag.Parse() 

fmt.Println("word:", *wordPtr) 


fmt.Println("numb:", *numbPtr) 


数 可 以 让 你 的 程序 更 加 通用 ， 例 如 cp 命 


一 是 Argument， 也 就 是 作为 进程 运行 的 实体 参数 。 


个 字符 串 数组 作为 参数 ， 一 般 名 为 ARGV 或 ARGS。 


今 通过 给 定 两 个 参数 就 可 以 复制 任意 的 文件 ， 当 然 如 果 需 要 的 参数 


例如 cp config.yml config.yml.bak 的 这 两 个 


这 些 参数 ，argument.go 代 码 如 下 ， 代 码 来 自 https://gobyexample.com/command-line- 


但 是 对 于 类 似 开 关 的 辅助 参数 ，Go 提 供 了 另 一 种 更 好 的 方法 。 


兮 行 参 数 转化 成 我 们 需要 的 数据 类 型 ， 其 中 flag.go 代 码 如 下 ， 代 码 来 自 


fmt.Println("fork:", *boolPtr) 
fmt.Println("svar:", svar) 
fmt.Printin("tail:", flag.Args()) 


} 


运行 结果 如 下 ， 相 比 直接 使 用 os.Args 代码 也 简洁 了 不 少 。 


root@87096bf68cb2:/go/src# ./flag -word=opt -numb=7 -fork -svar=flag 


word: 
numb: 
fork: 
svar: 
tail: 


opt 


root@87096bf68cb2:/go/src# ./flag -h 
Usage of ./flag: 
-fork=false: a bool 
-numb=42: an int 
-svar="bar": a string var 
-word="foo": a string 


最 佳 实践 还 是 使 用 配置 文件 。 


进程 参数 只 有 在 启动 进程 时 才能 赋值 ， 如 果 需 要 在 程序 运行 时 进行 交互 ， 就 需要 了 解 进程 的 输入 与 输出 了 。 


进程 输入 与 输出 


每 个 进程 操作 系统 都 会 分 配 三 个 文件 资源 ， 分 别 是 标准 输入 (STDIN)、 标 准 输 出 (STDOUT) 和 错误 输出 (STDERR)。 通 过 这 些 
输入 流 ， 我 们 能 够 轻易 得 从 键盘 获得 数据 ， 然 后 在 显示 器 输出 数据 。 


标准 输入 


来 自 管道 (Pipe) 的 数据 也 是 标准 输入 的 一 种 ， 我 们 写 了 以 下 的 实例 来 输出 标注 输入 的 数据 。 


package main 


import ( 
"fmt" 
"io/ioutil" 
"os" 


) 


func main() { 
bytes, err := ioutil.ReadAll(os.Stdin) 
if err != nil { 
panic(err) 


} 


fmt .Println(string(bytes) ) 
} 


运行 结果 如 下 。 


root@87096bf68cb2:/go/src# echo string_from_stdin | go run stdin.go 
string_from_stdin 





通过 fmt.Printin() 把 数据 输出 到 屏幕 上 ， 这 就 是 标准 输出 了 ， 这 里 不 太 演 示 了 。 
错误 输出 
程序 的 错误 输出 与 标准 输出 类 似 ， 这 里 暂 不 演示 。 


了 解 完 进程 一 些 基础 概念 ， 我 们 马上 要 深入 学 习 并 发 与 并 行 的 知识 了 。 


` 加 3L y — 
并 发 与 并 行 

并 发 (Concurrently) 和 并 行 (Parallel) 是 两 个 不 同 的 概念 。 借 用 Go 创始 人 Rob Pike 的 说 法 ， 并 发 不 是 并 行 ， 并 发 更 好 。 并 发 是 
一 共 要 义理 (deal with) 很 多 事情 ， 并 行 是 一 次 可 以 做 (do) 多 少 事情 。 

举 个 简单 的 例子 ， 和 华罗庚 泡 茶 ， 必 须 有 烧 水 、 洗 杯子 、 拿 茶叶 等 步骤 。 现 在 我 们 想 尽 快 做 完 这 件 事 ， 也 就 是 “一 共 要 处 理 很 多 


事情 "， 有 很 多 方法 可 以 实现 并 发 ， 例 如 请 多 个 人 同时 做 ， 这 就 是 并 行 。 并 行 是 实现 并 发 的 一 种 方式 ， 但 不 是 唯一 的 方式 。 我 
们 一 个 人 也 可 以 实现 并 发 ， 例 如 先 烧 水 、 然 后 不 用 等 水 烧 开 就 去 洗 杯子 ， 所 以 通过 调整 程序 运行 方式 也 可 以 实现 并 发 。 


` 7J 
大 神 讲解 
如 果 还 不 理解 ， 建 议 看 Rob Pike 题 为 Concurrency is not Parallelism 的 演讲 PPT 和 演讲 视频 。 


我 把 演讲 的 PPT 截 图 贴 出 来 方便 大 家 理解 。 
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总 结 一 下 ， 并 行 是 实现 并 发 的 一 种 方式 ， 在 多 核 CPU 的 时 代 ， 并 行 是 我 们 设计 高 效 程序 所 要 考虑 的 ， 那 么 进程 是 不 是 越 多 
好 呢 ? 


越 


“+ FO Fẹ > 

进程 越 多 越 好 ? 

前 面 提 到 多 进程 的 并 行 可 以 提高 并 发 度 ， 那 么 进程 是 越 多 越 好 ? 一 般 遇 到 这 种 问题 都 回答 不 是 ， 事 实 上 ， 很 多 大 型 项 目 都 不 
会 同时 开 太 多 进程 。 


下 面 以 支持 100K 并 发 量 的 Nginx 服 务 器 为 例 。 
举 个 例子 : Nginx 


Nginx 是 一 个 高 性 能 、 高 并 发 的 Web 服 务 器 ， 也 就 是 说 它 可 以 同时 处 理 超 过 10 万 个 HTTP 请 求 ， 而 它 建议 的 启动 的 进程 数 不 要 
超过 CPU 个 数 ， 为 什么 呢 ? 

我 们 首先 要 知道 Nginx 是 Master-worker 模 型 ，Master 进 程 只 负责 管理 Worker 进 程 ， 而 Worker 进 程 是 负责 处 理 真 实 的 请 求 。 每 
个 Worker 进 程 能 够 处 理 的 请 求 数 跟 内 存 有 关 ， 因 为 在 Linux 上 Nginx 使 用 了 epoll 这 种 多 路 复 用 的 IO 接口 ， 所 以 不 需要 多 线程 做 
并 行 也 能 实现 并 发 。 


而 多 进程 有 一 个 坏处 就 是 带 来 了 CPU 上 下 文 切换 时 间 ， 所 以 一 味 提高 进程 个 数 反 而 使 系统 系 能 下 降 。 当 然 如 果 当 前 进程 小 于 
CPU 个 数 ， 就 没有 充分 利用 多 核 的 资源 ， 所 以 Nginx 建 议 Worker 数 应 该 等 于 CPU 个 数 。 


特殊 情 


我 们 想 想 进程 数 应 该 等 于 CPU 数 ， 但 是 如 果 进 程 有 阻塞 呢 ? 这 是 是 应 该 提高 进程 数 增加 并 行 数 的 。 


在 Nginx 的 例子 中 ， 如 果 Nginx 主 要 负责 静态 内 容 的 下 载 ， 而 服务 器 内 存 比较 小 ， 大 部 分 文件 访问 都 需要 读 磁盘 ， 这 时 候 进程 
很 容易 阻塞 ， 所 以 建议 提高 下 Worker 数 目 。 


KE CPU 


一 般 情 况 下 除了 确保 进程 数 等 于 CPU 数 ， 我 们 还 可 以 绑 定 进程 与 CPU， 这 就 保证 了 最 少 的 CPU 上 下 文 切换 。 


在 Nginx 中 可 以 这 样 配置 。 


worker_processes 4; 
worker_cpu_affinity 1000 0100 0010 0001; 


这 是 通过 系统 调用 sched_setaffinity() 实 现 了 ， 感 兴趣 大 家 可 以 自行 学 习 这 方面 的 知识 。 


通过 这 个 例子 大 家 对 进程 的 并 发 与 并 行 应 该 有 更 深入 的 理解 ， 接 下 来 了 解 下 进程 状态 的 概念 。 


进程 状态 


根据 进程 的 定义 ， 我 们 知道 进程 是 代码 运行 的 实体 ， 而 进程 有 可 能 是 正在 运行 的 ， 也 可 能 是 已 经 停止 的 ， 这 就 是 进程 的 状 
太 


RO 


网 上 有 人 总 结 进程 一 共 5 种 状态 。 也 有 总 结 是 8 种 ， 究 竟 应 该 怎么 算 呢 ， 最 好 的 方法 还 是 看 Linux 源 码 。 进 程 状态 的 定义 
在 fs/proc/array.c 文 件 中 。 


/* 
* The task state array is a strange "bitmap" of 
* reasons to sleep. Thus "running" is zero, and 
* you can test for combinations of others with 
* simple bit tests. 


fs 
static const char * const task_state_array[] = { 
"R (running)", 1 OAT. 
"S (sleeping)", bes — 
"D (disk sleep)", 7e NT 
"T (stopped)", fs 4 7: 
"cE (tracing stop)", VE By 7 
"X (dead)", TEE 
"Z (zombie)", Ys eed “yf 
}; 


这 真 的 是 Linux 的 源码 ， 可 以 看 出 进程 一 共 7 种 状态 ， 含 义 也 比较 清晰 ， 注 意 其 中 D(disk sleep) 称 为 不 可 中 断 睡眠 状态 
(uninterruptible sleep)。 


知道 进程 状态 本 身 没什么 
进程 状态 转换 


uninterruptable sleep 





interruptable sleep 


woken / signal 


使 用 Ptrace 


include/linux/sched.h 


struct task_struct { 
volatile long state; /* -1 unrunnable, © runnable, >0 stopped */ 
void *stack; 
atomic_t usage; 
unsigned int flags; /* per process flags, defined below */ 
unsigned int ptrace; 


BAKA 
通过 ps aux 可 以 看 到 进程 的 状态 。 
O: 进程 正在 处 理 器 运行 ,这 个 状态 从 来 没有 见 过 . 


S : 休眠 状态 (sleeping) 
R : 等 待 运行 (runable) R Running or runnable (on run queue) 进程 外 于 运行 或 就 绪 状态 


|: 空闲 状态 (idle) 

Z: 僵尸 状态 (zombie) 

T : 跟踪 状态 (Traced) 

B : 进程 正在 等 待 更 多 的 内 存 页 

D: 不 可 中 断 的 深度 睡眠 ， 一 般 由 IO 引起 ， 同 步 IO 在 做 读 或 写 操 作 时 ，cpu 不 能 做 其 它 事情 ， 只 能 等 待 ， 这 时 进程 多 于 这 种 状 
态 ， 如 果 程 序 采 用 异步 IO， 这 种 状态 应 该 就 很 少见 到 了 


其 中 就 绪 状 态 表示 进程 已 经 分 配 到 除 CPU 以 外 的 资源 ， 等 CPU 调度 它 时 就 可 以 马上 执行 了 。 和 运行 状态 就 是 正在 运行 了 ， 获 得 


包括 CPU 在 内 的 所 有 资源 。 等 待 状态 表示 因 等 待 某 个 事件 而 没有 被 执行 ， 这 时 候 不 耗 CPU 时 间 ， 而 这 个 时 间 有 可 能 是 等 待 
IO、 申 请 不 到 足够 的 缓冲 区 或 者 在 等 待 信号 。 


状态 转换 
进程 的 运行 过 程 也 就 是 进程 状态 转换 的 过 程 。 


例如 就 绪 状态 的 进程 只 要 等 到 CPU 调度 它 时 就 马上 转 为 运行 状态 ， 一 且 它 需要 的 IO 操作 还 没有 返回 时 ， 进 程 状态 也 就 转换 成 


进程 状态 间 转 换 还 有 很 多 ， 这 里 不 一 一 细 叙 ， 马 上 去 学 习 进 程 退 出 码 吧 。 


退出 码 


任何 进程 退出 时 ， 都 会 留 下 退出 码 ， 操 作 系统 根据 退出 码 可 以 知道 进程 是 否 正 常 运行 。 


退出 码 是 0 到 255 的 整数 ， 通 常 0 表示 正常 退出 ， 其 他 数字 表示 不 同 的 错误 。 


示例 程序 


package main 


func main() { 
panic("Call panic()") 
D 


运行 结果 


root@fa13d0439d7a:/go/src# go run exit_code.go 
panic: Call panic() 


goroutine 16 [running]: 
runtime.panic(0x425900, Oxc208000010) 
/usr/src/go/src/pkg/runtime/panic.c:279 +0xf5 
main.main() 

/go/src/exit_code.go:4 +0x61 


goroutine 17 [runnable]: 

runtime .MHeap_Scavenger() 
/usr/src/go/src/pkg/runtime/mheap.c:507 
runtime.goexit() 
/usr/src/go/src/pkg/runtime/proc.c:1445 


goroutine 18 [runnable]: 

bgsweep() 
/usr/src/go/src/pkg/runtime/mgcO.c:1976 
runtime. goexit() 
/usr/src/go/src/pkg/runtime/proc.c:1445 
exit status 2 


我 们 可 以 看 到 最 后 一 行 输出 了 exit status 2 ， 证 明 进 程 的 退出 码 是 2， 也 就 是 异常 退出 。 相 比 之 下 ， 运 行 Hello World 程 序 并 
没有 输出 退出 码 ， 也 就 是 进程 正常 结束 了 。 


使 用 退出 码 


不 管 是 正常 退出 还 是 异常 退出 ， 进 程 都 结束 了 这 个 退出 码 有 意义 吗 ? 


当然 有 意义 ， 我 们 在 写 Bash 脚 本 时 ， 可 以 根据 前 一 个 命令 的 退出 码 选择 是 否 执行 下 一 个 命令 。 例 如 安装 Run 程 序 的 命令 wget 
https://github.com/runscripts/run-release/blob/master/0.3.6/linux_amd64/run && sudo run --init , 只 有 下 载 脚本 成 功 才 会 
执行 后 面 的 安装 命令 。 


Travis Cl 是 为 开源 项 目 提供 持续 集成 的 网 站 ， 因 为 测试 脚本 是 由 开发 者 写 的 ，Travis 只 能 通过 测试 脚本 的 返回 值 来 判断 这 次 
测试 是 否 正常 通过 


Docker 使 用 Dockerfile 来 构建 镜像 ， 这 是 类 似 Bash 的 领域 定义 语言 (DSL)， 每 一 行 执 行 一 个 命令 ， 如 果 命 令 的 进程 退出 码 不 为 
0， 构 建 镜像 的 流程 就 会 中 止 ， 证 明 Dockerfile 有 异常 ， 方 便 用 户 排查 问题 。 


了 解 进程 退出 码 后 ， 我 们 去 看 更 多 的 进程 资源 


进程 文件 


在 Linux 中 "一 切 此 文件 ”， 进 程 的 一 切 运行 信息 (占用 CPU、 内 存 等 ) 都 可 以 在 文件 系统 找到 ， 例 如 看 一 下 PID 为 1 的 进程 信息 。 


root@87096bf68cb2:/go/src# ls /proc/1/ 


attr cmdline cwd fdinfo loginuid mounts numa_maps pagemap 

auxv comm environ gid map maps mountstats oom adj personality smaps 
cgroup coredump_ filter exe io mem net oom_score projid map stat 
clear_refs cpuset fd limits mountinfo ns oom_score_ adj root statm 


ER 


我 们 可 以 看 一 下 它 的 运行 状态 ， 通 过 cat /proc/1/status 即 可 。 


root@87096bf68cb2:/go/src# cat /proc/1/status 


Name: bash 
State: S (sleeping) 
Toid: al 

Ngid: © 

Pid: 1 

PPid: 0 
TracerPid: 0 
Uid: 0 0 
Gid: 0 0 
FDSize: 256 
Groups: 

VmPeak: 20300 
vmSize: 20300 
VmLck: © 
VmPin: © 
VmHWM : 3228 
VmRSS: 3228 
VmData: 408 
vmStk: 136 
VmExe : 968 
VmLib: 2292 
VmPTE: 60 
VmSwap : 0 
Threads: 1 


SigQ: 0/3947 


kB 
kB 
kB 
kB 
kB 
kB 
kB 
kB 
kB 
kB 
kB 
kB 


SigPnd: 0000000000000000 
ShdPnd: 0000000000000000 
SigBlk: 0000000000010000 
SigIgn: 0000000000380004 
SigCgt: 000000004b817efb 
CapInh: 00000000a80425fb 
CapPrm: 00000000a80425fb 
CapEff: 00000000a80425fb 
CapBnd: 00000000a80425fb 


Seccomp: 9 
Cpus_allowed: all 
Cpus_allowed_list 


9 


Mems_allowed: 00000000, 00000001 


Mems_allowed_list: 9 
voluntary_ctxt_switches: 684 
nonvoluntary_ctxt_switches: 597 


参考 Linux 手 册 可 以 看 到 更 多 信息 ， 我 们 这 不 再 深究 ， 实 际 上 ps 命令 获得 的 数据 也 是 在 这 个 文件 系统 


我 们 已 经 了 解 了 这 么 多 进 


程 属 性 ， 是 时 候 开始 学 习 "传说 中 "的 死 锁 问 题 了 。 


sessionid 


34 7B 


IR IF 


的 。 


Status v 
syscall 
task 
uid_map 





死 锁 概念 


死 锁 (Deadlock) 就 是 一 个 进程 拿 着 资源 A 请 求 资 源 B， 另 一 个 进程 拿 着 资源 B 请 求 资源 A， 双 方 都 不 释放 自己 的 资源 ， 导 致 两 个 
进程 都 进行 不 下 去 。 


示例 程序 
我 们 可 以 宇 代码 模拟 进程 死 锁 的 例子 。 


package main 


func main() { 
ch := make(chan int) 
<-ch 


root@fa13d0439d7a:/go/src# go run deadlock.go 
fatal error: all goroutines are asleep - deadlock! 


goroutine 16 [chan receive]: 
main.main() 
/go/src/deadlock.go:5 +0x4f 
exit status 2 


这 里 Go 虚拟 机 已 经 蔡 我 们 检测 出 死 锁 的 情况 ， 因 为 所 有 Goroutine 都 阻塞 住 没有 运行 ， 关 于 Goroutine 的 概念 有 机 会 详细 介绍 
= Fe 


我 们 可 能 很 早 就 接触 过 和 死 锁 的 概念 ， 也 很 容易 模拟 出 来 ， 那 么 你 是 否 知道 活 锁 呢 ? 


活 锁 概 念 


相对 于 死 锁 ， 活 锁 (Livelock) 是 什么 概念 呢 ? 有 意思 的 是 ， 百 度 百科 把 这 个 解释 错 了 。 








如 果 事 务 T1 封 锁 了 数据 R, 事务 T2 又 请 求 封锁 R， 于 是 T2 等 待 。T3 也 请 求 封锁 R， 当 T1 释 放 了 R 上 的 封锁 后 ， 系 统 首 先 批 准 了 T3 的 请 求 ，T2 仍 然 等 待 。 然 后 T4 又 请 


a — 


这 显然 是 俄 死 (Starvation) 的 定义 ， 进 入 活 锁 的 进程 是 没有 阻塞 的 ， 会 继续 使 用 CPU， 但 外 界 看 到 整个 进程 都 没有 前 进 。 








活 锁 实 例 


举 个 很 简单 的 例子 ， 两 个 人 相向 过 独木桥 ， 他 们 同时 向 一 边 谦让 ， 这 样 两 个 人 都 过 不 去 ， 然 后 二 者 同时 又 移 到 另 一 边 ， 这 样 
两 个 人 又 过 不 去 了 。 如 果 不 受 其 他 因素 干扰 ， 两 个 人 一 直 同 步 在 移动 ， 但 外 界 看 来 两 个 人 都 没有 前 进 ， 这 就 是 活 锁 。 


活 锁 会 导致 CPU 耗 尽 的 ， 解 决 办 法 是 引入 随机 变量 、 增 加 重 试 次 数 等 。 
所 以 活 锁 也 是 程序 设计 上 可 能 存在 的 问题 ， 导 致 进程 都 没 办 法 运行 下 去 了 ， 还 耗 CPU。 


接 下 来 介绍 本 章 最 大 的 内 容 ，POSIX。 


POSIX fj JT 


POSIX(Portable Operation System Interface) 听 起 来 好 高 端 ， 就 是 一 种 操作 系统 的 接口 标准 ， 至 于 谁 遵循 这 个 标准 呢 ?就 是 
大 名 里昂 的 Unix 和 Linux 了 ， 有 人 问 Mac OS 是 否 兼 容 POSIX 呢 ， 答 案 是 Yes 芋 果 的 操作 系统 也 是 Unix-based 的 。 


有 了 这 个 规范 ， 你 就 可 以 调用 通用 的 API 了 ，Linux 提 供 的 POSIX 系 统 调用 在 Unix 上 也 能 执行 ， 因 此 学 习 Linux 的 底层 接口 最 好 
就 是 理解 POSIX 标 准 。 








补充 一 句 ， 目 前 很 多 编程 语言 (Go、Java、Python、Ruby 等 ) 都 是 天 生 跨 平台 的 ， 因 此 我 们 很 少 注 意 系 统 调 用 的 兼容 性 。 实 际 
上 POSIX 提 供 了 这 些 语 言 上 跨 平 台 的 语义 ， 而 且 这 是 源码 级 别 的 保证 。 

—— 
POSIX 规 沁 


POSIX 是 一 些 IEEE 标 准 ， 包 括 1003.0、1003.1、1003.1b 和 2003 等 ， 实 际 上 连 Linux 也 没有 完全 兼容 这 些 定义 ， 不 过 只 用 
Linux 来 学 习 POSIX 足 够 了 。 


鉴于 绝 大 多 数 程序 员 都 没 看 过 IEEE 文 档 ， 我 们 就 翻 一 下 IEEE 1003.1-2001 吧 。 


IEEE Std 1003.1™-2001/Cor 1-2002 


The Open Group Technical Standard 
Base Specifications, Issue 6 


1003.1™-2001/Cor 1-2001 


Standard for Information Technology — 
Portable Operating System Interface (POSIX) 


Technical Corrigendum 1 


Sponsor 

Portable Applications Standards Committee 
of the 

IEEE Computer Society 


and 


The Open Group 


IEEE THE Open GROUP 


RIB NERS, KAME EBasem ETERA, AERA BAO, HEMTAS. JERAI ELMIRA 
更 多 命名 空间 。 这 是 非常 严谨 的 文档 ， 感 兴趣 的 同学 可 以 读 下 ， 对 普通 的 程序 员 我 们 还 是 以 下 的 内 容 。 


POSIX 进 程 


我 们 运行 Hello World 程 序 时 ， 操 作 系 统 通过 POSIX 定 义 的 fork 和 exec 接口 创建 起 一 个 POSIX 进 程 ， 这 个 进程 就 可 以 使 用 通 
用 的 IPC、 信 号 等 机 制 。 


POSIX 线 程 


POSIX 也 定义 了 线程 的 标准 ， 包 括 创 建 和 控制 线程 的 API， 在 Pthreads 库 中 实现 ， 有 关 线 程 的 知识 有 机 会 再 深入 学 习 。 


Nohup 命 兮 


每 个 开发 者 都 会 躺 过 这 个 坑 ， 在 命 爸 行 跑 一 个 后 台 程 序 ， 关 闭 终端 后 发 现 进程 也 退出 了 ， 网 上 搜 一 下 发 现 要 用 nohup ， 究 竟 
什么 原因 呢 ? 


原来 普通 进程 运行 时 默认 会 绑 定 TTY( 虚 拟 终端 )， 关 闭 终端 后 系统 会 给 上 面 所 有 进程 发 送 TERM 信 号 ， 这 时 普通 进程 也 就 退出 
了 。 当 然 还 有 些 进程 不 会 退出 ， 这 就 是 后 面 将 会 提 到 的 守护 进程 。 


Nohup 的 原理 也 很 简单 ， 终 端 关闭 后 会 给 此 终端 下 的 每 一 个 进程 发 送 SIGHUP 信 号 ， 而 使 用 nohup 运行 的 进程 则 会 忽略 这 个 
信号 ， 因 此 终 AXE 井 程 也 不 会 退出 。 


举 个 例子 
我 们 用 Go 实现 最 简单 的 Web 服 务 器 ， 代 码 web_server.go 如 下 。 


package main 


import ( 
"fmt" 
"net/http" 
) 


func handler(w http.Responsewriter, r *http.Request) { 
fmt .Println("Handle request") 
} 


func main() { 
http.HandleFunc("/", handler) 
http.ListenAndServe(":8000", nil) 


然后 在 终端 上 运行 ， 并 测试 一 下 。 


> go build web_server.go 

> ./web_server & 

[1] 25967 

> wget 127.0.0.1:8000 

--2014-12-28 22:24:07-- http://127.0.0.1:8003/ 
Connecting to 127.0.0.1:8003... connected. 

HTTP request sent, awaiting response... 200 OK 
Length: 5 [text/plain] 

Saving to: 'index.html.4' 


100% [=== === === == = > 5 --. -K/S in Os 


2014-12-28 22:24:07 (543 KB/s) - 'index.html' saved [5/5] 


如 果 关 闭 终端 ， curl 命令 就 连 不 上 我 们 的 Web 服 务 器 了 。 如 果 使 用 nohup 247 ? 


> go build web_server.go 

> nohup ./web_server & 

[1] 25968 

> exit 

> wget 127.0.0.1:8003 

--2014-12-28 22:24:11-- http://127.0.0.1:8003/ 


发 现 关 闭 终端 对 Web 服 务 器 进程 没有 任何 影响 ， 这 正 是 我 们 预期 的 。 支行 守护 进程 最 简单 的 方法 ， 实 际 上 标准 的 守护 进 
程 除 了 处 理 信和 号外， 还 要 考虑 这 种 因素 ， 后 面 将 会 详 述 。 


创建 进程 


本 章 开始 时 演示 了 Hello World 程 序 ， 其 实 已 经 创建 了 新 的 进程 ， 通 过 Bash 或 者 zsh 这 些 Shell 很 容易 创建 新 的 进程 ， 但 Shell 
本 身 是 怎么 实现 的 呢 ?我们 又 能 不 能 用 Go 实现 类 似 Shell 的 功能 呢 ? 


系统 调用 


原来 这 一 切 都 是 操作 系统 给 我 们 做 好 的 ， 然 后 暴露 了 使 用 的 API 接 口 ， 这 就 是 系统 调用 。Linux 或 者 其 他 Unix-like 系 统 都 提供 
了 fork() 和 exec() 等 接口 ，Bash 或 者 我 们 窟 的 程序 都 可 以 通过 调用 这 些 接口 来 操作 进程 。 


Go 创建 进程 


而 Go 已 经 封装 了 和 与 进程 相关 的 接口 ， 主 要 在 os/exec 这 个 Package 中 。 通 过 使 用 封装 好 的 接口 ， 我 们 很 容易 就 可 以 在 自己 的 
项 目 中 调用 其 他 进程 了 。 


这 一 章 已 经 介绍 了 这 人 么 多 概念 ， 马 上 会 有 实践 环节 ， 用 Go 实现 多 种 方式 来 来 创建 和 运行 外 部 进程 。 


EE — — > 口 
第 二 章 Go 编程 实例 
学 习 完 进程 基础 知识 ， 我 们 通过 几 个 Go 编程 实例 介绍 如 果 使 用 Go 运行 外 部 进程 。 


这 章 主 要 是 编程 练习 ， 学 习 完 这 章 后 对 进程 的 使 用 和 Go 对 进程 的 使 用 应 该 都 有 更 深 的 理解 。 


衍生 (Spawn) 新 进程 


这 是 来 自 GoByExample 的 例子 ， 代 码 在 https://gobyexample.com/spawning-processes。 


它 能 够 执行 任意 Go 或 者 非 Go 程 序 ， 并 且 等 待 放 回 结果 ， 外 部 进程 结束 后 继续 执行 本 程序 。 


证 


码 实现 


package main 
import "fmt" 
import "io/ioutil" 


import "os/exec" 


func main() { 


dateCmd := exec.Command("date") 
dateOut, err := dateCmd.Output() 
if err != nil { 

panic(err) 
} 


fmt.Printlin("> date") 
fmt.Println(string(dateOut ) ) 


grepCmd := exec.Command("grep", "hello") 

grepIn, _ := grepCmd.StdinPipe() 

grepOut, _ := grepCmd.StdoutPipe( ) 
grepCmd.Start() 

grepIn.Write([]byte("hello grep\ngoodbye grep")) 
grepiIn.Close() 

grepBytes, _ := ioutil.ReadAll(grepOut ) 
grepCmd.Wait() 

fmt.Printin("> grep hello") 
fmt.Println(string(grepBytes) ) 


lsCmd := exec.Command("bash", "-c", "ls -a -1 -h") 
lsOut, err := lsCmd.Output() 
if err != nil { 

panic(err) 
} 
fmt.Printin("> ls -a -1 -h") 
fmt.Println(string(lsOut)) 


$ go run spawning-processes.go 

> date 

Wed Oct 10 09:53:11 PDT 2012 

> grep hello 

hello grep 

> ls -a -l -h 

drwxr-xr-x 4 mark 136B Oct 3 16:29 . 
drwxr-xr-x 91 mark 3.0K Oct 3 12:50 .. 


-rw-r--r-- 1 mark 1.3K Oct 3 16:28 spawning-processes.go 
AJ 
N 
及 纳 总 结 


因此 如 果 你 的 程序 需要 执行 外 部 命令 ， 可 以 直接 使 用 exec.command() 来 Spawn 进 程 ， 并 且 根 据 需 要 获得 外 部 程序 的 返回 值 。 


执行 (Exec) 外 部 程序 


这 是 来 自 GoByExample 的 例子 ， 代 码 在 https://gobyexample.com/execing-processes。 
把 新 程序 加 载 到 自己 的 内 存 。 


与 Spawn 不 同 ， 执 行 外 部 程序 并 不 会 返回 到 原 进程 中 ， 也 就 是 让 外 部 程序 完全 取代 本 进程 。 


代码 实现 


package main 


import "syscall" 
import "os" 
import "os/exec" 


func main() { 
binary, lookErr := exec.LookPath("1s") 
if lookErr != nil { 
panic(lookErr) 
} 
args = Strung ls NE LE ahi 
env := os.Environ() 
execErr := syscall.Exec(binary, args, env) 
if execErr != nil { 
panic(execErr) 


— 


运行 结果 


$ go run execing-processes.go 

total 16 

drwxr-xr-x 4 mark 136B Oct 3 16:29 . 
drwxr-xr-x 91 mark 3.0K Oct 3 12:50 .. 


-rw-r--r-- 1 mark 1.3K Oct 3 16:28 execing-processes.go 
y 
N 
及 纳 总 结 


如 果 你 的 程序 就 是 用 来 执行 外 部 程序 的 ， 例 如 后 面 提 到 的 项 目 实 例 Run， 那 使 用 syscall.Exec 执行 外 部 程序 就 最 合适 了 。 注 
意 调用 该 函数 后 ， 本 进程 后 面 的 代码 将 不 可 能 再 执行 了 。 


复制 (Fork) 进 程 


如 果 我 们 仅仅 想 复制 父 进程 的 堆栈 空间 呢 ， 很 遗憾 Go 没有 提供 这 样 的 接口 ， 因 为 使 用 Spawn、Exec 和 Goroutine 已 经 能 覆盖 
绝 大 部 分 的 使 用 案例 了 。 


事实 上 无 论 是 Spawn 还 是 Exec 都 是 通过 实现 Fork 系 统 调用 来 实现 的 ， 后 面 将 会 详细 介绍 它 的 实现 原理 。 


A — 、 oO. 
Boe 进程 进 阶 
学 习 进程 基础 和 Go 编程 时 候 后 ， 我 们 会 接触 进程 更 底层 的 概念 ， 包 括 信号 、 进 程 锁 和 系统 调用 等。 


通过 学 习 这 章 我 们 对 进程 的 所 有 概念 都 了 如 指 掌 了 ， 充 分 理解 这 些 概念 后 有 助 于 我 们 实现 更 高 效 的 应 用 程序 。 


ece 1. tmux (tmux) 

Processes: 212 total, 2 running, 11 stuck, 199 sleeping, 962 threads 

Load Avg: 1.84, 1.79, 1.75 CPU usage: 2.66% user, 2.91% sys, 94.41% idle SharedLibs: 12M resident, 16M data, @B linkedit. 
MemRegions: 31469 total, 2060M resident, 106M private, 471M shared. PhysMem: 4034M used (598M wired), 59M unused. 

VM: 671G vsize, 1066M framework vsize, @(@) swapins, @(@) swapouts. Networks: packets: 215797/296M in, 186055/62M out. 
Disks: 184818/5643M read, 60202/1694M written. 


COMMAND %CPU TIMI #TH #WQ #PORT MEM PURG CMPRS PGRP PPID STATE BOOSTS XCPU_ME %CPU_OTHRS UID FAULTS 
screencaptur @.4 0: 46- 2088K+ QB 302 302 sleeping *0[12] @.00000 0.43450 11792+ 
QuickLookSat 0.0 QB 1367 1 sleeping 0[0] = z 2429 
quicklookd QB 1366 1 stuck 0[3] 3142 
top 0B 1364 805 running *0[1] 5 A 60170+ 
ocspd QB 1363 1 sleeping *@[1] ; š 901 
ssh-agent QB 1352 1 sleeping *@[1] 1076 
Google Chrom OB 273 273 sleeping *@[6] 12783 
Google Chrom QB 273 273 sleeping *0[27] 65811 
Google Chrom QB 273 273 sleeping *0[28] 206323 
Atom Helper QB 276 391 sleeping *0[6] 17394 
spindump 108M 941 1 sleeping *@[1] 141637 
SogouInput 11M 903 sleeping *0[4205] 93363 
imklaunchage 872K 902 sleeping *@[1] 1603 
mdworker 328K sleeping *@[1] 15211 
node 9908K sleeping *Q[1] 72976 
systemstatsd 52K sleeping 0[27] 3038 
mdflagwriter 8192B sleeping *@[1] 1251 
zsh QB sleeping *@[1] 22881 
discoveryd 32K sleeping *0[1] 2731 
com.apple.Ch 1552K sleeping [3] 2090 
com.apple.cm 776K sleeping Q[1] 1633 
ScopedBookma 1028K sleeping [1] 1260 
distnoted 124K sleeping *0[1] 606 
mdworker 812K sleeping *@[1] 34664 
mdworker 924K sleeping *0[1] 37842 


2 
2 
8 
1/1 
1 
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进程 锁 

这 里 的 进程 锁 与 线程 锁 、 互 斥 量 、 读 写 锁 和 自 旋 锁 不 同 ， 它 是 通过 记录 一 个 PID 文 件 ， 避 免 两 个 进程 同时 运行 的 文件 锁 。 
进程 锁 的 作用 之 一 就 是 可 以 协调 进程 的 运行 ， 例 如 crontab 使 用 进程 锁 解 决 冲突 提 到 ， 使 用 crontab 限 定 每 一 分 钟 执行 一 个 任 
务 ， 但 这 个 进程 运行 时 间 可 能 超过 一 分 钟 ， 如 果 不 用 进程 锁 解 决 冲突 的 话 两 个 进程 一 起 执行 就 会 有 问题 。 后 面 提 到 的 项 目 实 
例 Run 也 有 类 似 的 问题 ， 通 过 进程 锁 可 以 解决 进程 间 同 步 的 问题 。 
使 用 PID 文 件 锁 还 有 一 个 好 处 ， 方 便 进 程 向 自己 发 停止 或 者 重启 信号 。Nginx 编 译 时 可 指定 参数 - -pid- 


path=/var/run/nginx.pid ， 进 程 起 来 后 就 会 把 当前 的 PID 写 入 这 个 文件 ， 当 然 如 果 这 个 文件 已 经 存在 了 ， 也 就 是 前 一 个 进程 还 
没有 退出 ， 那 么 Nginx 就 不 会 重新 启动 。 进 程 管理 工具 Supervisord 也 是 通过 记录 进程 的 PID 来 停止 或 者 拉 起 它 监 控 的 进程 的 。 


使 用 进程 锁 


进程 锁 在 特定 场景 是 非常 适用 的 ， 而 操作 系统 默认 不 会 为 每 个 程序 创建 进程 锁 ， 那 我 们 该 如 何 使 用 呢 ? 





其 实 要 实现 一 个 进程 锁 很 简单 ， 通 过 文件 就 可 以 实现 了 。 例 如 程序 开始 运行 时 去 检查 一 个 PID 文 件 ， 如 果 文 件 存在 就 直接 退 
出 ， 如 果 文 件 不 存在 就 创建 一 个 ， 并 把 当前 进程 的 PID 写 入 文件 中 。 这 样 我 们 很 容易 可 以 实 和 读 锁 ， 但 是 所 有 流程 都 需要 自 
己 控制 。 


当然 根据 DRY(Don't Repeat Yoursel 有 原则 ，Linux 已 经 为 我 们 提供 了 flock 接口 。 


使 用 Flock 


Flock 提 供 的 是 advisory lock， 也 就 是 建议 性 的 锁 ， 其 他 进程 实际 上 也 可 以 读 写 这 个 锁 文件 。Linux 上 可 以 直接 使 用 flock 命 
令 ， 使 用 C 可 以 调用 原生 的 flock 接口 ， 这 里 详细 介绍 Go 1.3 引 入 的 FentlFock() o 


我 们 封装 了 简单 的 接口 。 


// Control the lock of file. 
func fcntlFlock(lockType int16, path ...string) error { 
var err error 
if lockType != syscall.F_UNLCK { 
mode := syscall.O_CREAT | syscall.O_WRONLY 
lockFile, err = os.OpenFile(path[0], mode, 0666) 
if err != nil { 
return err 
} 
} 


lock := syscall.Flock_t{ 
Start: 0, 
Len: abs 
Type: lockType, 
Whence: int16(os.SEEK_ SET), 
} 
return syscall.FcntlFlock(lockFile.Fd(), syscall.F SETLK, &lock) 
h 


这 样 对 进程 加 锁 。 


// Lock the file. 
func Flock(path string) error { 

return fcntlFlock(syscall.F WRLCK, path) 
} 


这 样 对 进程 解锁 。 


// Unlock the file. 
func Funlock(path string) error { 
err := fentlFlock(syscall.F_UNLCK) 
if err != nil { 
return err 
} else { 
return lockFile.Close() 
} 
} 


学 习 完 进程 锁 ， 我 们 开始 了 解 各 种 进程 ， 如 孤儿 进程 、 僵 尸 进程 。 


. A 
孤儿 进程 概念 
我 们 经 常 听 别 人 说 到 孤儿 进程 (Orphan Process)， 究 竟 是 什么 呢 ， 现 在 我 们 一 次 理解 透 。 
根据 维基 百科 的 解释 ， 孤 儿 进 程 指 的 是 在 其 父 进程 执行 完成 或 被 终止 后 仍 继续 运行 的 一 类 进程 。 
孤儿 进程 与 僵尸 进程 是 完全 不 同 的 ， 后 面 会 详细 介绍 僵尸 进程 。 而 孤儿 进程 借用 了 现实 中 孤儿 的 概念 ， 也 就 是 父 进程 不 在 


了 ， 子 进程 还 在 运行 ， 这 时 我 们 就 把 子 进程 的 PPID 设 为 1。 前 面 讲 PID 提 到 ， 操 作 系 统 会 创建 进程 号 为 1 的 init 进 程 ， 它 没有 父 
进程 也 不 会 退出 ， 可 以 收养 系统 的 孤儿 进程 。 


作用 


在 现实 中 用 户 可 能 刻意 使 进程 成 为 孤儿 进程 ， 这 样 就 可 以 让 它 与 父 进程 会 话 脱钩 ， 成 为 后 面 会 介绍 的 守护 进程 。 


僵尸 进程 


当 一 个 进程 完成 它 的 工作 终止 之 后 ， 它 的 父 进程 需要 调用 wait() 或 者 waitpid() 系 统 调用 取得 子 进程 的 终止 状态 。 


太 信 息 


一 个 进程 使 用 fork 创 建 子 进 程 ， 如 果子 进程 退出 ， 而 父 进程 并 没有 调用 wait 或 waitpid 获 取 子 进程 的 状态 信息 ， 
旦 描述 符 仍然 保存 在 系统 中 。 这 种 进程 称 之 为 僵 死 进程 。 


理解 了 孤儿 进程 和 僵尸 进程 ， 我 们 临时 加 了 守护 进程 这 一 小 节 ， 守 护 进程 就 是 后 台 进 程 吗 ? 没 那么 简单 。 


那么 子 进 程 的 进 


F4 (Daemon) # f= 


我 们 可 以 认为 守护 进程 就 是 后 台 服 务 进 程 ， 因 为 它 会 有 一 个 很 长 的 生命 周期 提供 服务 ， 关 闭 终端 不 会 影响 服务 ， 也 就 是 说 可 
以 忽略 某 些 信号 。 


Rm mra ` Oo 
实现 守护 进程 
首先 要 保证 进程 在 后 台 运 行 ， 可 以 在 启动 程序 后 面 加 & ， 当 然 更 原始 的 方法 是 进程 自己 fork 然后 结束 父 进程 。 


if (pid=fork()) { 
exit(0); // Parent process 


} 


然后 是 与 终端 、 进 程 组 、 会 话 (Sessiom) 分 离 。 每 个 进程 创建 时 都 绑 定 一 个 终端 ， 而 且 属 于 一 个 进程 组 (进程 组 也 有 GID 不 过 等 
同 进程 组 长 的 PID)， 这 些 进 程 组 在 一 个 会 话 中 ， 如 果 是 子 进 程 一 般 会 从 父 进程 继承 这 些 信 息 ， 想 要 和 与 环境 分 离 可 以 使 用 以 下 
的 系统 调用 。 


setsid(); 
同样 地 我 们 会 从 父 进程 继承 文件 掩 码 (mask)， 可 以 手动 清理 掩 码 。 
umask(0); 


如 果 需 要 我 们 可 以 改变 当前 工作 目录 ， 避 免 运 行 时 必须 使 用 当前 所 在 的 文件 系统 。 


使 用 Nohup 


前 面 提 到 过 nohup 命令 ， 是 让 程序 以 守护 进程 运行 的 方式 之 一 ， 程 序 运 行 后 忽略 SIGHUP 信 号 ， 也 就 说 关闭 终端 不 会 影响 进 
程 的 运行 。 





类 似 的 命令 还 有 disown ， 这 里 不 再 详 述 。 


进程 间 通 信 

IPC 全 称 Interprocess Communication， 指 进程 间 协 作 的 各 种 方法 ， 当 然 包括 共享 内 存 ， 信 号 量 或 Socket 等 。 
管道 (Pipe) 

管道 是 进程 间 通 信 最 简单 的 方式 ， 任 何 进程 的 标准 输出 都 可 以 作为 其 他 进程 的 输入 。 
信号 (Signal) 

下 面 马上 会 介绍 。 

消息 队列 (Message) 

和 传统 消息 队列 类 似 ， 但 是 在 内 核实 现 的 。 

共享 内 存 (Shared Memory) 

后 面 也 会 有 更 详细 的 介绍 。 

信号 量 (Semaphore) 


填 号 量 本 质 上 是 一 个 整 型 计数 器 ， 调 用 wait 时 计数 减 一 ， 减 到 雳 开始 阻塞 进程 ， 从 而 达到 进程 、 线 程 间 协 作 的 作用 。 


— 


= +2 (Socket) 


也 就 是 通过 网 络 来 通信 ， 这 也 是 最 通用 的 IPC， 不 要 求 进程 在 同一 台 服 务 器 上 。 


= CI 

信号 

我 们 知道 信号 是 进程 问 通信 的 其 中 一 种 方法 ， 当 然 也 可 以 是 内 核 给 进程 发 送 的 消息 ， 注 意 信息 只 是 告诉 进程 发 生 了 什么 事 
件 ， 而 不 会 传递 任何 数据 。 


这 是 进程 这 个 概念 设计 时 就 考虑 到 的 了 ， 因 为 我 们 希望 控制 进程 ， 就 像 一 个 小 孩 我 们 想 他 按 我 们 的 想法 做 ， 前 提 就 是 他 能 够 
接受 信号 并 且 理 解 信 号 的 含义 。 


Linux 中 定义 了 很 多 信号 ， 不 同 的 Unix-like 系 统 也 不 一 样 ， 我 们 可 以 通过 下 面 的 命令 来 查 当前 系统 支持 的 种 类 。 


2 kill -1 
HUP INT QUIT ILL TRAP ABRT EMT FPE KILL BUS SEGV SYS PIPE ALRM TERM URG STOP TSTP CONT CHLD TTIN TTOU IO XCPU XFSZ VTAL 


EES — 


其 中 1 至 31 的 信号 为 传统 UNIX 支 持 的 信号 ， 是 不 可 靠 信 号 ( 非 实时 的 )，32 到 63 的 信号 是 后 来 扩充 的 ， 称 做 可 靠 信 号 (实时 信 
号 )。 不 可 靠 信 号 和 可 靠 信 号 的 区 别 在 于 前 者 不 支持 排队 ， 可 能 会 造成 信号 丢失 ， 而 后 者 不 会 。 





简单 介绍 几 个 我 们 最 常用 的 ， 在 命令 行 中 止 一 个 程序 我 们 一 般 提 Ctrl+c， 这 就 是 发 送 SIGINT 信 号 ， 而 使 用 kill 命 令 呢 ? 默认 是 
SIGTERM， 加 上 -9 参数 才 是 SIGKILL。 


编程 实例 


import os/signal 


siganl.Notify() 
signal.Stop() 


这 是 Go 封装 的 信号 接口 ， 我 们 可 以 以 此 实现 一 个 简单 的 信号 发 送 和 义理 程序 。 


系统 调用 


我 们 要 想 启动 一 个 进程 ， 需 要 操作 系统 的 调用 (system call)。 实 际 上 操作 系统 和 普通 进程 是 运行 在 不 同 空间 上 的 ， 操 作 系统 
进程 运行 在 内 核 态 (todo: kernel space)， 开 发 者 运行 得 进程 运行 在 用 户 态 (todo: user space)， 这 样 有 效 规避 了 用 户 程序 破坏 
系统 的 可 能 。 


如 果 用 户 态 进程 想 执 行内 核 态 的 操作 ， 只 能 通过 系统 调用 了 。Linux 提 供 了 超 多 系统 调用 函数 ， 我 们 关注 与 进程 相关 的 系统 调 
用 后 面 也 会 详细 讲解 。 


SA Fe FF 


LinuxiRE BHI} EME DS, Met, RASHARHEH, RAAE? 于 是 所 有 资源 都 有 了 统一 的 接口 ， 
开发 者 可 以 像 写 文件 那样 通过 网 络 传输 数据 ， 我 们 也 可 以 通过 /proc/ 的 文件 看 到 进程 的 资源 使 用 情况 。 


内 核 给 每 个 访问 的 文件 分 配 了 文件 描述 符 (File Descriptor)， 它 本 质 是 一 个 非 负 整数 ， 在 打开 或 新 建文 件 时 返回 ， 以 后 读 写 文 
件 都 要 通过 这 个 文件 描述 符 了 。 


应 用 


我 们 想 想 操作 系统 打开 的 文件 这 么 多 ， 不 可 能 他 们 共用 一 套 文件 描述 符 整 数 吧 ? 这 样 想 就 对 了 ，Linux 实 现时 这 个 fd 其 实 是 一 
个 索引 值 ， 指 向 每 个 进程 打开 文件 的 记录 表 。 


POSIX 已 经 定义 了 STDIN_FILENO、STDOUT_FILENO 和 STDERR_FILENO 三 个 常量 ， 也 就 是 0、1、2。 这 三 个 文件 描述 符 
是 每 个 进程 都 有 的 ， 这 也 解释 了 为 什么 每 个 进程 都 有 编号 为 0、1、2 的 文件 而 不 会 与 其 他 进程 冲突 。 


文件 描述 符 帮 助 应 用 找到 这 个 文件 ， 而 文件 的 打开 模式 等 上 下 文 信息 存储 在 文件 对 象 中 ， 这 个 对 象 直接 与 文件 描述 符 关 联 。 


限制 


注意 了 ， 每 个 系统 对 文件 描述 符 个 数 都 有 限制 。 我 们 网 上 看 到 配置 ulimit 也 是 为 了 调 大 系统 的 打开 文件 个 数 ， 因 为 一 般 服 务 
器 都 要 同时 人 处理 成 千 上 万 个 起 请 求 ， 记 住 socket 连 接 也 是 文件 哦 ， 使 用 系统 默认 值 会 出 现 莫名 奇怪 的 问题 。 





讲 文件 描述 符 其 实 是 为 高 深 莫 测 的 epoll 做 铺垫 ， 掌 握 epoll 对 进程 已 经 有 很 深 的 理解 了 。 


间 71 


Epoll 是 poll 的 改进 版 ， 更 加 高 效 ， 能 同时 处 理 大 量 文件 描述 符 ， 跟 高 并 发 有 关 ，Nginx 就 是 充分 利用 了 epoll 的 特性 。 讲 这 些 没 
用 ， 我 们 先 了 解 poll 是 什么 。 


Poll 


Poll 本 质 上 是 Linux 系 统 调用 ， 其 接口 为 int poll(struct pollfd *fds,nfds_t nfds, int timeout) ， 作 用 是 监控 资源 是 否 五 
用 。 


举 个 例子 ， 一 个 Web 服 务 器 建 了 多 个 socket 连 接 ， 它 需要 知道 里 面 哪些 连接 传输 发 了 请 求 需 要 义理 ， 功 能 与 select 系统 调用 
类 似 ， 不 过 poli 不 会 清空 文件 描述 符 集 合 ， 因 此 检测 大 量 socket 时 更 加 高 效 。 


Epoll 


我 们 重点 看 看 epoll， 它 大 幅 提升 了 高 并 发 服务 器 的 资源 使 用 率 ， 相 比 poll 而 言 哦 。 前 面 提 到 poll 会 轮 询 整个 文件 描述 符 集 合 ， 
而 epoll 可 以 做 到 只 查询 被 内 核 IO 事 件 唤醒 的 集合 ， 当 然 它 还 提供 边 治 触发 (Edge Triggered) 等 特性 。 


不 知 大 家 是 否 了 解 C10K 问 题 ， 指 的 是 服务 器 如 何 支 持 同时 一 万 个 连接 的 问题 。 如 果 是 一 万 个 连接 就 有 至 少 一 万 个 文件 描述 
符 ，poll 的 效率 也 随 文件 描述 符 的 更 加 而 下 降 ，epoll 不 存在 这 个 问题 是 因为 它 仅 关注 活跃 的 socket。 


现 


将 


这 是 怎么 做 到 的 呢 ? 简单 来 说 epoll 是 基于 文件 描述 符 的 callback 画 数 来 实现 的 ， 只 有 发 生 IO 时 间 的 socket 会 调用 callback 画 
数 ， 然 后 加 入 epoll 的 Ready 队 列 。 更 多 实现 细节 可 以 人 参考 Linux 源 码 ， 


Mmap 


无 论 是 select、poll 还 是 epoll， 他 们 都 要 把 文件 描述 符 的 消息 送 到 用 户 空 间 ， 这 就 存在 内 核 空间 和 用 户 空间 的 内 存 拷贝 。 其 中 
epoll 使 用 mmap 来 共享 内 存 ， 提 高 效率 。 


Mmap 不 是 进程 的 概念 ， 这 里 提 一 下 是 因为 epoll 使 用 了 它 ， 这 是 一 种 共享 内 存 的 方法 ， 而 Go 语言 的 设计 宗旨 是 "不 要 通过 共享 
来 通信 ， 通 过 通信 来 共享 "， 所 以 我 们 也 可 以 思考 下 进程 的 设计 ， 是 使 用 mmap 还 是 Go 提供 的 channel 机 制 呢 。 


共享 内 存 


对 于 共享 内 存 是 好 是 坏 ， 我 们 不 能 妄 下 定论 ， 不 过 学 习 一 下 总 是 好 的 。 


不 同 进程 之 间 内 存 空间 是 独立 的 ， 也 就 是 说 进程 不 能 访问 也 不 会 干扰 其 他 进程 的 内 存 。 如 果 两 个 进程 希望 通过 共享 内 存 的 方 
式 通信 呢 ? 可 以 通过 map) 系统 调用 实现 。 


Go 实例 


Go 也 实现 了 mmap() 辑 数 支 持 共 享 内 存 ， 不 过 也 是 通过 cgo 来 调用 C 实 现 的 系统 调用 函数 。Cgo 是 什么 ? 它 是 Go 调用 C 语 言 模 
块 的 功能 ， 当 然 这 种 调用 很 可 能 是 平台 相关 的 ， 也 就 是 无 法 保证 在 Windows 也 能 正确 运行 。 


具体 代码 参见 Golang 对 共享 内 存 的 操作 ， 有 时 间 我 们 也 愿意 写 一 个 更 简单 易 懂 的 例子 。 


写 时 复制 (Copy On Write) 


一 般 我 们 运行 程序 都 是 Fork 一 个 进程 后 马上 执行 Exec 加 载 程序 ， 而 Fork 的 是 否 实际 上 用 的 是 父 进 程 的 堆栈 空间 ，Linux 通 过 
Copy On Write 技术 极 大 地 减少 了 Fork 的 开销 。 


Copy On Write 的 含义 是 只 有 真正 写 的 时 候 才 把 数据 写 到 子 进 程 的 数据 ，Fork 时 只 会 把 页 表 复 制 到 子 进程 ， 这 样 父 子 进 程 都 指 
向 同一 个 物理 内 存 页 ， 只 有 再 写 子 进程 的 时 候 才 会 把 内 存 页 的 内 容重 新 复制 一 份 。 


Cgroups 
Cgroups 全 称 Control Groups, Linux AA TX#RRÉSMRER. HATCgroups LÈ#ICPU, AF Aiz ilo 


使 用 


Cgroups 是 在 Linux 2.6.24 合 并 到 内 核 的 ， 不 过 项 目 在 不 断 完 善 ，3.8 内 核 加 入 了 对 内 存 的 控制 (kmemcg)。 


要 使 用 Cgroups 非 常 简单 ， 阅 读 前 建议 看 sysadmincasts 的 视频 ，https://sysadmincasts.com/episodes/14-introduction-to- 
linux-control-groups-cgroups。 


我 们 首先 在 文件 系统 创建 Cgroups 组 ， 然 后 修改 这 个 组 的 属性 ， 记 动 进 程 时 指定 加 入 的 Cgroups 组 ， 这 样 进程 相当 于 在 一 个 受 
限 的 资源 内 运行 了 。 


rR 


实现 


Cgroups 的 实现 也 不 是 特别 复杂 。 有 一 个 特殊 的 数据 结构 记录 进程 组 的 信息 。 


有 人 可 能 已 经 知道 Cgroups 是 Docker 容 器 技术 的 基础 ， 另 一 项 技术 也 是 大 名 瞻 易 的 Namespaces。 


Namespaces à JT 


Linux Namespaces 是 资源 隔离 技术 ， 在 2.6.23 合 并 到 内 核 ， 而 在 3.12 内 核 加 入 对 用 户 空间 的 支持 。 
Namespaces 是 容器 技术 的 基础 ， 因 为 有 了 命名 空间 的 隔离 ， 才 能 限制 容器 之 间 的 进程 通信 ， 像 虚拟 内 存 对 于 物理 内 存 那 
样 ， 开 发 者 无 需 针 对 容器 修改 已 有 的 代码 。 


使 用 Namespaces 


阅读 以 下 教程 前 建议 看 看 ，https://blog.jtlebi.fr/2013/12/22/introduction-to-linux-namespaces-part-1-uts/。 
Linux 内 核 提 供 了 clone 系统 调用 ， 创 建 进程 时 使 用 clone 取代 fork 即刻 创建 同一 命名 空间 下 的 进程 。 


更 多 参数 建议 man clone 来 学 习 。 


第 四 章 项 目 实例 Run 


Run 是 开源 的 脚本 管理 工具 ， 官 方 网 站 http://runscripts.org， 项 目地 址 https://github.com/runscripts/run。 


Run 可 以 执行 任意 的 脚本 ， 当 然 使 用 到 Go 库 提供 的 系统 调用 程序 。 


Run AR 

Run 是 一 个 命 合 行 工具 ， 没 有 复杂 的 CS 或 BS 架构 ， 只 是 通过 解析 命 合 行 或 者 配置 文件 来 下 载运 行 相应 的 脚本 。 
Flock 

Run 使 用 了 前 面 提 到 的 进程 文件 锁 ， 避 免 同 时 运行 同一 个 脚本 。 同 时 运行 同一 个 脚本 会 有 什么 问题 呢 ?例如 我 们 run pt- 


summary ， 同 时 另 一 个 终端 执行 run -u pt-summary ， 这 样 前 一 个 命令 有 可 以 使 用 旧 脚 本 也 可 能 使 用 新 脚本 ， 这 需 我 们 规避 这 
样 的 问题 。 


实现 Run 


实现 Flock 


前 面 提 到 进程 的 文件 锁 ， 实 际 上 Run 也 用 到 了 ， 可 以 试想 下 以 下 的 场景 。 


用 户 A 执 行 run pt-summary ， 由 于 本 地 已 经 缓存 了 所 以 会 直接 运行 本 地 的 脚本 。 同 时 用 户 B 执 行 run -u pt-summary ， 加 上 - 
u 或 者 - -update 参数 后 Run 会 从 远 端 下 载 并 运行 最 新 的 脚本 。 如 果 不 加 文件 锁 的 话 ， 用 户 A 的 行为 就 不 可 预测 了 ， 而 文件 锁 
很 好 得 解决 了 这 个 问题 。 


具体 使 用 方法 如 下 ， 我 们 封装 了 以 下 的 接口 。 


var lockFile *os.File 


// Lock the file. 
func Flock(path string) error { 

return fentlFlock(syscall.F_WRLCK, path) 
} 


// Unlock the file. 
func Funlock(path string) error { 
err := fentlFlock(syscall.F_UNLCK) 


if err != nil { 
return err 
} else { 


return lockFile.Close() 


} 
} 





// Control the lock of file. 
func fentlFlock(lockType int16, path ...string) error { 
var err error 
if lockType != syscall.F_UNLCK { 
mode := syscall.O_CREAT | syscall.O_WRONLY 
mask := syscall.Umask(0) 
lockFile, err = os.OpenFile(path[0], mode, 0666) 
syscall.Umask(mask) 
if err != nil { 
return err 
J 
J 


lock := syscall.Flock_t{ 
Starto, 
Len: 4; 
Type: lockType, 
Whence: int16(os.SEEK_ SET), 


} 
return syscall.FcntlFlock(lockFile.Fd(), syscall.F SETLK, &lock) 


在 运行 脚本 前 就 调用 锁 进 程 的 方法 。 


// Lock the script. 

lockPath := cacheDir + ".lock" 

err = flock.Flock(lockPath) 

if err != nil { 
utils.LogError("%s: %v\n", lockPath, err) 
OSAEXLE (HE) 

} 


实现 HTTP 请 求 


使 用 Run 时 它 会 自动 从 网 上 下 载 脚本 ， 走 的 HTTP 协 议 ， 具 体 实现 方法 如 下 。 


// Retrieve a file via HTTP GET. 
func Fetch(url string, path string) error { 


response, err := http.Get(url) 
if err w= nil { 

return err 
} 


if response.StatusCode != 200 { 
return Errorf("%s: %s", response.Status, url) 


} 


defer response.Body.Close() 
body, err := ioutil.ReadAll(response. Body) 
if err != nil { 
return err 
} 
if strings.HasPrefix(url, MASTER_URL) { 
// When fetching run.conf, etc. 
return ioutil.WriteFile(path, body, 0644) 
} else { 
// When fetching scripts. 
return ioutil.WriteFile(path, body, 0777) 


} 


Run 的 总 体 代码 是 很 简单 的 ， 主 要 是 通过 解析 run.conf 下 载 相应 的 脚本 并 执行 。 


对 进程 有 了 深入 理解 后 ， 我 们 编写 实际 应 用 可 能 遇 到 这 些 


St 


创建 目录 权限 


如 果 你 想 创建 一 个 目录 并 授予 777 权 限 ， 你 需要 怎么 做 ? 查看 Go 的 API 文 档 我 们 可 以 这 样 写 。 


源 文件 为 mkdir.go。 


package main 


import ( 
"emt" 
Nog" 


) 


func main() { 
err := os.MkdirAll("/tmp/gotest/", 0777) 


if err != nil { 
panic(err) 
} 
fmt.Println("Mkdir /tmp/gotest/") 
} 
= 4 
运行 结果 


> understand_linux_process_examples git:(master) x 11 /tmp/ 
drwxr-xr-x 2 tobe wheel 68B Dec 30 10:06 gotest 

> understand_linux_ process _ examples git:(master) x umask 
022 


正确 做 法 


代码 在 mkdir_umask.go 中 。 


package main 


import ( 
"fmt" 
"os" 
"syscall" 
) 
func main() { 
mask := syscall.Umask(0) 
defer syscall.Umask(mask) 
err := os.MkdirAll("/tmp/gotest/", 0777) 
if err != nil { 
panic(err) 


J 


fmt.Println("Mkdir /tmp/gotest/") 


注意 事项 


这 并 不 是 Go 的 Bug， 包 括 Linux 系 统 调用 都 是 这 样 的 ， 创 建 目录 除了 给 定 的 权限 还 要 加 上 系统 的 Umask，Go 也 是 如 实 遵循 这 
种 约定 。 


如 果 你 想 达 到 你 的 预期 权限 ， 知 道 Umask 及 其 用 法 是 必须 的 。 


捕获 SIGKILL 


SIGKILL 是 常见 的 Linux 信 号 ， 我 们 使 用 kil 命令 杀 掉 进程 也 就 是 像 进程 发 送 SIGKILL 信 和 号。 
和 其 他 信号 不 同 ，SIGKILL 和 SIGSTOP 是 不 可 被 Catch 的 ， 因 此 下 面 的 代码 是 能 编译 通过 但 也 是 无 效 的， 更 多 细节 可 以 参 


Ægolang/go#9463. 


c := make(chan os.Signal, 1) 
signal.Notify(c, syscall.SIGKILL, syscall.SIGSTOP) 


注意 事项 


这 是 Linux 内 核 的 限制 ， 这 种 限制 也 是 为 了 让 操作 系统 有 可 能 控制 进程 的 生命 周期 ， 理 解 后 我 们 也 不 应 该 去 尝试 捕获 
SIGKILL。 


不 过 还 是 有 人 这 样 去 做 ， 最 后 结果 也 不 符合 预期 ， 这 需要 我 们 对 底层 有 足够 的 理解 。 


系统 调用 sendfile 

Sendfile 是 Linux 实 现 的 系统 调用 ， 可 以 通过 避免 文件 在 内 核 态 和 用 户 态 的 拷贝 来 优化 文件 传输 的 效率 。 
其 中 大 名 冉冉 的 分 布 式 消息 队列 服务 Kafka 就 使 用 sendfile 来 优化 效率 ， 具 体 用 法 可 参见 其 官方 文档 。 
优化 策略 


在 普通 进程 中 ， 要 从 磁盘 拷贝 数据 到 网 络 ， 其 实 是 需要 通过 系统 调用 ， 进 程 也 会 反复 在 用 户 态 和 内 核 态 切换 ， 频 繁 的 数据 传 
输 在 此 有 效率 问题 。 因 此 我 们 必须 意识 到 Linux 给 我 们 提供 了 sendfile 这 样 的 系统 调用 ， 可 以 提高 进程 的 数据 传输 效率 。 


后 记 


最 后 一 章 列举 本 文 参考 的 过 的 书籍 和 项 目 ， 欢 迎 大 家 补充 和 讨论 更 多 有 关 进 程 的 知识 。 


参考 书籍 


o 理解 Unix 进 程 

e Unix 编 程 艺术 

e Unix 环 境 高 级 编程 
e Go Web 编 程 

e Go 并 发 编程 实战 


Linux 

Go 

Docker 

Run 
GoByExample 


Thanks for reading! 


